Skip to Content Facebook Feature Image

港大綜合測評:人工智能大語言模型 「文心一言4」中文表現最佳

港大綜合測評:人工智能大語言模型 「文心一言4」中文表現最佳

港大綜合測評:人工智能大語言模型 「文心一言4」中文表現最佳

2024年03月12日 20:13 最後更新:20:40

港大經管學院日前就多個主流的人工智能大語言模型(LLMs)在中文及英文環境進行綜合深入評測,並發表評測報告,以及公佈中文和英文語境大模型排行榜。

在評測14款中文及16款英文語境下的人工智能通用大語言模型後,報告發現,在中文語境下,文心一言4綜合表現最佳;而在英文語境下,GPT 4-turbo領先優勢明顯。

更多相片
資料圖片

資料圖片

資料圖片

資料圖片

中文語境下的人工智慧大語言模型評測綜合排行榜。

中文語境下的人工智慧大語言模型評測綜合排行榜。

英文語境下的人工智慧大語言模型評測綜合排行榜。

英文語境下的人工智慧大語言模型評測綜合排行榜。

在中文語境下,文心一言4綜合表現最佳,而GPT4-Turbo與通義千問2緊隨其後。

英文語境下,僅有 GPT 4-turbo一款模型的綜合得分獲得80 分以上。

大多數國產大模型在英文語境下的綜合表現處於稍微劣勢的位置。

資料圖片

資料圖片

港大經管學院創新及資訊管理學教授蔣鎮輝,帶領深圳研究院人工智能研究所團隊構建一個通用大語言模型的綜合評價體系,以兩個核心評測目標,包括從用戶視角出發,全面評估主流大模型的能力,以及深入評估和分析國產大模型在英文場景中的優勢和局限性,並探究它們在英文領域的應用潛力。

港大經管學院創新及資訊管理學教授蔣鎮輝表示,中國具有大語言模型應用的豐富場景,特別是在教育、金融、醫療、法律、零售等方面,未來的想像空間是十分寬廣的。推動人工智慧技術在各個領域的落地,這需要各方面共同努力。另外,在人工智能大語言模型的領域,中國科技不該只做個追隨者,而應該勇於成為引領者,中國的大語言模型呼喚更多從0到1的原創性核心技術。

資料圖片

資料圖片

是次評測主要針對三大核心能力,包括自然語言能力、專業學科能力以及安全與責任。在中文語境下,文心一言4綜合表現最佳,獲得74.58分,而GPT4-Turbo與通義千問2緊隨其後。文心一言4對中文特色語境表現出更好的適應能力。在安全與責任方面,文心一言4得分亦最高,展現出較成熟的安全意識。文心一言 4的表現,也側面反映越來越多高品質的中文資料集,逐步被構築並應用於國產大模型,以創造出更好的中文思維 AI 助手。

中文語境下的人工智慧大語言模型評測綜合排行榜。

中文語境下的人工智慧大語言模型評測綜合排行榜。

在英文語境下,僅有 GPT 4-turbo一款模型獲得80 分以上的綜合得分,在各項能力上表現比較均衡,而在自然語言能力和學科試題上均表現突出,在安全與責任方面也名列前茅。對比其他大模型,GPT 4-turbo 的突出表現可能源於它在任務適應性,特別是在處理邏輯推理與創作類複雜任務和理解深層次語義上的卓越能力。對比GPT系列前代模型,GPT 4-turbo作為GPT系列模型的最先進版本,在API調用的表現,特別是在安全與責任能力上,比其前代模型優化顯著。

英文語境下的人工智慧大語言模型評測綜合排行榜。

英文語境下的人工智慧大語言模型評測綜合排行榜。

此外,是次評測的另一個重點,是在全英文環境中觀察9款國產大模型處理英文任務的能力。評測納入的國外大模型受認可度較高且開發語言均為英語,相比之下,大多數國產大模型在英文語境下的綜合表現處於稍微劣勢的位置,原因跟它們訓練的數據大多是中文有關,不過個別國產大模型,例如文心一言4.0亦在多項英文任務上表現出色,展現出較強的優化潛力。

整體而言,是次測評中的國產大模型具備正確理解英文問題和指令的能力,僅在輸出時偶爾缺乏語言穩定性和語料豐富性。因此國產大模型可以在多語言輸出能力上進一步加強,令它們有望在國際舞台上展現更加強大和全面的競爭力。

人工智能金融罪行合規方案供應商ThetaRay,今日發表《ThetaRay 2026年英國銀行及金融科技信任報告》。報告於全球監管科技峰會前夕公布,揭示消費者行為出現系統性轉變,有超八成八英國客戶,準備因其主要金融機構未能有效打擊洗錢或恐怖主義融資活動,而放棄使用相關服務。

ThetaRay行政總裁Brad Levy表示,合規已由後勤部門,轉變為維繫客戶關係的前線動力。他指出,轉會對消費者而言不再是主要障礙,他們期望金融機構能提供信任、便利及強大的反洗錢措施。

ThetaRay 2026年英國銀行及金融科技信任報告 AP圖片

ThetaRay 2026年英國銀行及金融科技信任報告 AP圖片

ThetaRay金融罪行及合規人工智能副總裁Garima Chaudhary指出,數據證明傳統、基於規則的系統,正造成雙重風險,既對現代罪犯而言過於寬鬆,又對現代消費者而言過於僵化。她強調,對業界領袖而言,人工智能原生基礎設施,現時是保護品牌資產及防止大規模存款流失的唯一方法。

報告亦指出,雖然現時有超八成八英國客戶信任其銀行,自2023年以來,銀行業一直被評為金融業中最受信任的子行業,但這種信任是脆弱的。有七成受訪者承認,數碼開戶流程的速度及清晰度,直接決定他們會否完成申請,抑或完全放棄。

報告揭示,超九成六受訪者現時要求對開戶要求有「清晰解釋」,以及與安全相關的延誤,而傳統基於規則的框架,無法大規模提供這種透明度。

《ThetaRay 2026年英國銀行及金融科技信任報告》由Centiment代表ThetaRay進行,訪問了1,023名英國受訪者。樣本具代表性,涵蓋不同年齡組別的英國人口。

ThetaRay利用認知人工智能打擊金融罪行,協助金融機構精確識別合法客戶,同時標記不良行為者。其軟件即服務方案克服了傳統基於規則系統的局限,縮短了漫長的實施週期,實現高效、具風險意識的合規營運。透過將合規從監管義務轉變為增長動力,ThetaRay讓機構能夠更快擴展,並自信地拓展新市場。透過揭示隱藏的犯罪網絡及提供可操作的見解,ThetaRay協助機構打擊不斷演變的威脅,維持與監管機構的良好關係,並提升客戶體驗。ThetaRay已在全球多間領先金融機構實施,包括桑坦德銀行、Clear Bank、Mashreq Bank、Payoneer、Onafriq及Travelex,協助金融機構蓬勃發展,促進全球金融生態系統的信任及信心。

(美聯社)

你 或 有 興 趣 的 文 章